วิวัฒนาการของ NLP: จาก AI แบบแยกส่วนสู่ Foundation Models
คำนิยาม
- AI แบบแยกส่วน: ยุคที่ถูกนิยามด้วยสถาปัตยกรรมโครงข่ายประสาทเทียมแบบแยกส่วนและเฉพาะทาง ซึ่งออกแบบมาสำหรับงานแต่ละประเภท เช่น การติดป้ายกำกับลำดับหรือการจำแนกประเภท
- Foundation Model: สถาปัตยกรรม transformer แบบรวมศูนย์เพียงหนึ่งเดียวที่มองปัญหาทางภาษาทั้งหมดเป็นลำดับการสร้างข้อความจากข้อความ $x \rightarrow y$
แนวคิดหลัก
- การรวมสถาปัตยกรรม: ในอดีต NLP ต้องใช้ไปป์ไลน์ที่ออกแบบเฉพาะทาง (Bi-LSTMs สำหรับ NER, CNNs สำหรับการวิเคราะห์อารมณ์) LLMs ได้ยุบรวมระบบแยกส่วนเหล่านี้ให้เหลือเพียง backbone เดียวที่ใช้น้ำหนักชุดเดียวกันสำหรับทุกงาน
- อินเทอร์เฟซแบบรวมศูนย์: LLMs แทนที่ "output head" เฉพาะทาง (เช่น Softmax แบบ 3 คลาส) ด้วยอินเทอร์เฟซภาษาธรรมชาติ อินพุตและเอาต์พุตเป็นสตริงเสมอ ทำให้โมเดลสามารถตีความ เจตนา แทนที่จะเป็น รูปแบบ.
- การถ่ายโอนความรู้: โมเดลแบบดั้งเดิมเปรียบเสมือน "กระดาษเปล่า" สำหรับแต่ละงาน LLMs ให้ความสำคัญกับ การ generalize ก่อนโดยงานเฉพาะทางเป็นเพียงการประยุกต์ใช้การแทนค่าภายในของภาษาที่มีอยู่ก่อนแล้วและมีความแข็งแกร่ง
บริบททางประวัติศาสตร์
- ก่อนปี 2018: การแยกงานทำให้ต้องฝึกโมเดลที่แตกต่างกันด้วยฟังก์ชัน loss ที่ต่างกัน $\mathcal{L}_{task}$
- ยุคปัจจุบัน: กระบวนทัศน์ "Text-to-Text" ทำให้โมเดลเดียว (เช่น Llama-3) สลับงานได้ผ่านการ prompting แบบ zero-shot หรือ few-shot
การเปรียบเทียบการใช้งานด้วย Python
